In-context Example Selection with Influences

we use in-context influences to analyze few-shot ICL performance directly from the in-context examples.

Our analysis uncovers up to a 16.3% performance gap between using the most negative in-context examples compared to the most positive.

Figure 1

分類問題（の話らしい）

trainからfew-shotを選び、validationへの性能を見る (Algorithm 1)

trainからの選び方を変えることでexampleそれぞれの影響度を算出

4.3 Negative vs. Positive Examples

negativeになる理由として、ラベル誤り（など）

4.5 Case study: Example Ordering

Figure 6

Influence magnitudes are bigger at later positions.

「few-shotでは後の例ほどモデルに影響を与える」

IMO：positiveなexampleだけをあらかじめ選び取れるのか？（手元のデータセットに過学習しないか？）